#Architecture Search

4 篇

Conservative Meta-Agent Search: Architecture Adaptation under Non-Stationarity

保守元代理搜索：非平稳环境下的架构自适应

🧭 元代理架构搜索与在线自适应

CMAS通过保守提升、切换成本与风险约束降低在线架构搜索的回归与成本，在96个流上优于最强自适应基线

📌 工作参考价值（4 点）

在线架构变更采用“影子回放”评估：用共同随机数重放历史流量，对新旧架构计算配对分数，能显著减少评估噪声，适合在电商推荐、广告投放等延迟反馈场景中做 A/B 测试前的离线消融。
提升门槛加入方差惩罚和切换成本：只有显著优于现任方案才允许上线，避免频繁替换导致系统不稳定。可直接借鉴到电商 Agent 工作流的组件升级策略。
模拟金丝雀阶段与自动回滚：小流量试运行并预设指标阈值，失败自动回滚，降低线上风险。适合部署生成式推荐或广告文案生成等高风险模块。
当新增组件不贡献价值时收缩到最小有效团队，定期剪枝，可减少推理成本与维护复杂度。

Agent | 2026-10-22 | cs.AI | score 6/10

构建多学科AI研究团队自主发现线性注意力架构

🧭 多智能体协作自主架构搜索

UC Santa Barbara · Pennsylvania State University · LinkedIn

通过不同学科背景、私有历史与自适应分配组织多智能体团队，自主搜索出优于GDN2的线性注意力架构

📌 工作参考价值（4 点）

在推荐/广告模型结构搜索中，可借鉴“多学科背景Agent团队”设计，让不同Agent从召回、排序、多任务、效率等视角提出正交的架构修改，避免群体思维陷入局部最优。
“私有研究历史”机制可迁移到A/B实验知识管理：每个实验Owner保留独立的假设与失败记录，仅共享实验结果，防止过早收敛到主流方案。
自适应分配研究机会（而非均匀轮询）适合实验预算有限的场景：根据近期收益动态调整各Agent的探索资源，把更多算力给有潜力的方向。
对于线性注意力等新型高效模块，业务侧可以低成本在小规模（如150M参数）用该团队框架快速筛选候选，再扩展到线上模型，节省大规模训练开销。

MultiAgent | 2026-10-19 | HF Daily | score 7/10

具身智能体架构设计的自动搜索

🧭 Agent 自动化架构搜索

Australian Institute for Machine Learning, University of Adelaide

首次系统评估在具身模拟环境中用架构搜索自动化设计Agent，揭示噪声与局部最优等局限

📌 工作参考价值（4 点）

架构搜索范式可迁移：将 Agent 设计视为图编辑任务，用“提议-批判-实验-蒸馏”循环自动优化，可用于电商推荐 Agent 的模块组合（如召回/排序/记忆/工具调用），减少人工试错。
类型化图运行时：AgentCanvas 把 Agent 表示为可编辑节点-连线程序，支持带类型校验的执行和回滚，类似思路可用于搭建推荐系统 Agent 的可视化编排与自动搜索。
关注搜索噪声与局部最优：具身环境中 rollout 噪声会掩盖真实信号，导致搜索陷入局部编辑盆地，提示我们在业务 Agent 架构搜索中需设计鲁棒的评估策略，如多次采样平滑、引入对抗验证。
引入反思机制：KDLoop 在优化停滞时触发反思，可借鉴到电商 Agent 的持续优化中，当线上指标不再提升时，自动回溯日志、重提假设，防止过早收敛。

Agent | 2026-07-02 | HF Daily | score 6/10

基于智能体的神经架构自主发现：AIRA-Compose 与 AIRA-Design

🧭 Agent 驱动的神经架构自动发现

FAIR at Meta

用多智能体协作在有限预算内自主搜索 Transformer-Mamba 混合架构，性能与效率超越人工设计基准

📌 工作参考价值（4 点）

多智能体组合搜索可复用：在电商推荐模型的 CTR/序列模块中，可借鉴AIRA的11-agent协作模式，将Attention、MLP、Mamba等计算原语作为搜索空间，用固定GPU预算自动探索高效混合架构，减少人工试错成本。
小尺度评估+外推策略：对推荐模型结构搜索，先在百万参数量级快速评估候选设计，再extrapolate到生产级大模型，这种“低成本过滤”能显著提升搜索效率，可复用于召回、排序模型的架构迭代。
直接由Agent编写算子与脚本：AIRA-Design让Agent生成注意力机制和训练脚本，这一思路可迁移至长序列推荐场景（如用户行为序列），自动优化长程依赖处理，降低对专家手工设计的依赖。
固定预算下的多Agent竞赛机制：多个Agent在限定时间/资源内并行提出方案并相互评估，这种竞争性协作可应用于推荐系统的超参优化、特征工程自动化，快速找到性价比最高的配置。

Agent | 2026-05-14 | HF Daily | score 6/10